Ông kết hôn với bà Công Tằng Tôn Nữ Tuyết Lê vào năm 1944. Hai ông bà có năm người con là Phạm Biểu Trung, Phạm Biểu Chí, Phạm Thị Kim Hoàn, Phạm Thị Kim Liên và Phạm Biểu Tình. Hai ông bà cũng có một dưỡng nữ là Trần Thị Hồng (quá cố). Toàn thể gia đình hiện nay cư ngụ tại Hoa Kỳ.

Ông sống đời giản dị và thanh bạch, rất hâm mộ môn bóng đá và chèo thuyền thế vận hội.